Modelos Lineales Dinámicos
Santiago Bohorquez Correa
Universidad EAFIT
Escuela de Economía y Finanzas
Universidad EAFIT
Escuela de Economía y Finanzas
Modelo AR(1)
Ahora si podemos definir formalmente nuestro primer modelo lineal, el modelo Autoregresivo de orden 1 o AR(1)
\[\begin{equation} (1-\phi L)x_t = \varepsilon_t \end{equation}\]
Que también podemos escribir como \(x_t = \phi x_{t-1} + \varepsilon_t\). El AR(1) puro depende entonces solo de la variable de interés rezagada y el proceso de innovación.
Como vimos cuando miramos el paseo aleatorio, necesitamos que \(|\phi|<1\), bajo este supuesto miremos las condiciones de estacionariedad.
\[\begin{align} E(x_t) & = E(\phi x_{t-1} + \varepsilon_t) \\ & = \phi E(x_{t-1}) + E(\varepsilon_t) \\ & = \phi E[ (\phi x_{t-2} + \varepsilon_{t-1})] + E(\varepsilon_t) \\ & = \phi^2 E[ x_{t-2}] + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ & = \phi^2 E[(\phi x_{t-3} + \varepsilon_{t-2})] + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \end{align}\]
Si seguimos iterando hacia atrás obtenemos \[\begin{align} E(x_t) & = \phi^n E[x_{t-n}] + \phi^{n-1} E[\varepsilon_{t-(n-1)}] + \dots + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ \\ E(x_t) & = \phi^n E[x_{t-n}] + 0 + \dots + 0 + 0 \\ E(x_t) & = \phi^n E[x_{t-n}] \end{align}\]
Suponemos que \(n \rightarrow \infty\) por lo tanto \(E(x_t) =0\)
Ahora hacemos lo mismo para la varianza, y bajo \(E[x_t] = 0\):
\[\begin{align} Var(x_t) & = E[(x_t - E[x_t])^2] \\ & = E[x_t^2] \\ & = E[(\phi x_{t-1} + \varepsilon_t)^2] \\ & = E[(\phi x_{t-1})^2] + 2E[\phi x_{t-1}\varepsilon_t] + E[\varepsilon_t^2] \\ & = \phi^2 E[x_{t-1}^2] + 0 + E[\varepsilon_t^2] \end{align}\]
Si seguimos iterando hacia atrás obtenemos
\[\begin{align} Var(x_t) & = \phi^2 E[(\phi x_{t-2} + \varepsilon_{t-1})^2] + E[\varepsilon_t^2] \\ & = \phi^4 E[x_{t-2}^2] + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]
Repitiendo este proceso, obtenemos
\[\begin{align} Var(x_t) & = \phi^{2n} E[x_{t-n}^2] + \phi^{2(n-1)} E[\varepsilon_{t-n}^2 ] + \dots + \\ & \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]
Bajo \(|\phi| < 1\),
\[\begin{align} Var(x_t) & = \phi^{2(n-1)} E[\varepsilon_{t-n}^2 ] + \dots + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \end{align}\]
Que podemos escribir como \(Var(x_t) = E[\phi(L)\varepsilon_t]\). Ahora, si multiplicamos por \(\phi^2\) obtenemos
\[\begin{align} \phi^2E[\phi(L)\varepsilon_t] & = \phi^{2n} E[\varepsilon_{t-n}^2 ] + \dots + \phi^4 E[\varepsilon_{t-1}^2] + \phi^2 E[\varepsilon_t^2] \end{align}\]
Reemplazamos por el valor de la esperanza,
\[\begin{align} E[\phi(L)\varepsilon_t] & = \phi^{2(n-1)} \sigma^2 + \dots + \phi^2 \sigma^2 + \sigma^2 \\ \phi^2E[\phi(L)\varepsilon_t] & = \phi^{2n} \sigma^2 + \dots + \phi^4 \sigma^2 + \phi^2 \sigma^2 \end{align}\]
Y restamos
\[\begin{align} E[\phi(L)\varepsilon_t] - \phi^2E[\phi(L)\varepsilon_t] & = \phi^{2(n-1)} \sigma^2 + \dots + \phi^2 \sigma^2 + \sigma^2 \\ & - \phi^{2n} \sigma^2 - \dots - \phi^4 \sigma^2 - \phi^2 \sigma^2 \\ (1 - \phi^2) E[\phi(L)\varepsilon_t] & = \sigma^2 - \phi^{2n} \sigma^2 \end{align}\]
dado que \(|\phi | < 1\), finalmente obtenemos
\[\begin{align} E[\phi(L)\varepsilon_t] & = \frac{\sigma^2}{1 - \phi^2} \\ Var(x_t) & = \frac{\sigma^2}{1 - \phi^2} \end{align}\]
Finalmente, miremos la auto-covarianza para un proceso estacionario:
\[\begin{align} \gamma_j & = cov(x_t,x_{t-j}) \\ & = E[(x_t x_{t-j}) - \mu_t\mu_{t-j}] \\ & = E[x_t x_{t-j}] \end{align}\]
Dado que \(\mu_t=0\)
Reemplazamos \(x_t\) y obtenemos:
\[\begin{align} \gamma_j & = E[ (\phi x_{t-1} + \varepsilon_t ) x_{t-j}] \\ & = E[ \phi x_{t-1} x_{t-j} + \varepsilon_t x_{t-j}] \\ & = \phi E[x_{t-1} x_{t-j}] + E[\varepsilon_t x_{t-j}] \\ & = \phi E[x_{t-1} x_{t-j}] \end{align}\]
Donde \(E[\varepsilon_t x_{t-j}]=0\) cuando \(j \geq 1\)
Como vimos previamente \(\gamma_j = E[x_t x_{t-j}]\), por lo tanto
\[\begin{equation} \gamma_j = \phi \gamma_{j-1} \end{equation}\]
resolvemos entonces para \(\gamma_0\), \(\gamma_1\) y generalizamos para \(\gamma_j\). Es fácil ver que \(\gamma_0\) es \(Var(x)t)\)
Por lo tanto:
\[\begin{align} \gamma_0 & = \frac{\sigma^2}{1 - \phi^2} \\ \gamma_1 & = \phi \frac{\sigma^2}{1 - \phi^2} \\ \gamma_2 & = \phi^2 \frac{\sigma^2}{1 - \phi^2} \\ & \vdots \\ \gamma_j & = \phi^j \frac{\sigma^2}{1 - \phi^2} \end{align}\]
Estacionariedad auto-covarianza
Un punto de aclaración cuando hablamos de estacionariedad lo definimos como no dependiente de \(t\). Debido a que la auto-covarianza depende de \(j\) muchas veces hay confusión sobre la estacionariedad de este proceso. Sin embargo, este proceso si es estacionario, la razón es que solo importa la distancia entre las observaciones, no cuanto tiempo haya pasado desde el inicio del proceso. E.g,
\[\begin{equation} E[x_t x_{t-j}] = E[x_{t-n} x_{t-j-n}] = \gamma_j \end{equation}\]
Estimamos entonces la auto-correlación
\[\begin{align} \rho_0 & = \frac{\gamma_0}{\gamma_0} = 1 \\ \rho_1 & = \frac{\phi \gamma_0}{\gamma_0} = \phi \\ \rho_2 & = \frac{\phi \gamma_1}{\gamma_0} = \phi^2 \\ & \vdots \\ \rho_j & = \frac{\phi \gamma_{j-1}}{\gamma_0} = \phi^j \end{align}\]
Con la auto-correlación podemos hacer el auto-correlograma el cual gráfica la auto-correlación en cada rezago. Observemos diferentes modelos AR(1) y las diferencia de sus auto-correlogramas teóricos.
\(x_t = 0.6 x_{t-1} + \varepsilon_t\) 
\(x_t = 0.8 x_{t-1} + \varepsilon_t\) 
\(x_t = -0.8 x_{t-1} + \varepsilon_t\) 
\(x_t = x_{t-1} + \varepsilon_t\)
Modelo AR(p)
Definimos el modelo AR(p) como
\[\begin{equation} x_t = \phi_1 x_{t-1} + \phi_2 x_{t-2} + \dots + \phi_p x_{t-p} + \varepsilon_t \end{equation}\]
o usando el operador de rezagos
\[\begin{equation} \phi(L)x_t = \varepsilon_t \end{equation}\]
El proceso es estacionario si las soluciones de \(\lambda_i\) de la ecuación
\[\begin{equation} \lambda^p - \phi_1 \lambda^{p-1} - \dots - \phi_p = 0 \end{equation}\]
caen dentro del circulo de unidad
Asumiendo estacionariedad y realizando el mismo proceso que vimos para el proceso AR(1) podemos obtener la media del proceso como:
\[\begin{equation} \mu = \frac{E[\varepsilon_t]}{1- \phi_1 - \phi_2 - \dots - \phi_p} \end{equation}\]
Así en el caso sin constante \(\mu = 0\)
Ahora para estimar las auto-covarianzas,
\[\begin{align} E[x_t x_{t-j}] & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \dots + \phi_p x_{t-p} + \varepsilon_t) x_{t-j}] \\ E[x_t x_{t-j}] & = \phi_1 E[x_{t-1}x_{t-j}] + \phi_2 E[x_{t-2}x_{t-j}] + \dots + \phi_p E[x_{t-p} x_{t-j}] \\ & + E[\varepsilon_t x_{t-j}] \\ \gamma_j & = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} + \dots + \phi_p \gamma_{j-p} + E[\varepsilon_t x_{t-j}] \end{align}\]
Ahora podemos estimar la varianza, como \(\gamma_0\)
\[\begin{equation} \gamma_j = \phi_1 \gamma_{1} + \phi_2 \gamma_{2} + \dots + \phi_p \gamma_{p} + \sigma^2 \end{equation}\]
Y para valores de \(j>0\)
\[\begin{equation} \gamma_j = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} + \dots + \phi_p \gamma_{j-p} \end{equation}\]
Y para las auto-correlaciones dividimos por \(\gamma_0\) y obtenemos
\[\begin{equation} \rho_j = \phi_1 \rho_{j-1} + \phi_2 \rho_{j-2} + \dots + \phi_p \rho_{j-p} \end{equation}\]
con esto podemos estimar las ecuaciones de Yule-Walker,
\[\begin{align} \rho_1 & = \phi_1 + \phi_2 \rho_1 + \dots + \phi_p \rho_{p-1} \\ \rho_2 & = \phi_1 \rho_1 + \phi_2 + \dots + \phi_p \rho_{p-2} \\ & \vdots \\ \rho_p & = \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \dots + \phi_p \end{align}\]
Y en forma matricial para los términos de \(\phi\),
\[\begin{equation} \begin{bmatrix} \phi_1 \\ \phi_2 \\ \vdots \\ \phi_p \end{bmatrix} = \begin{bmatrix} 1 & \rho_1 & \dots & \rho_{p-1} \\ \rho_1 & 1 & \dots & \rho_{p-2} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{p-1} & \rho_{p-2} & \dots & 1 \end{bmatrix}^{-1} \begin{bmatrix} \rho_1 \\ \rho_2 \\ \vdots \\ \rho_p \end{bmatrix} \end{equation}\]
Modelos de Medias Móviles
MA(1)
Ahora miramos los modelos de medias móviles, empezamos por el modelo de medias móviles de orden 1, o MA(1).
Un modelo MA(1) se define como,
\[\begin{equation} x_t = \varepsilon_t - \theta \varepsilon_{t-1} \end{equation}\]
usando el operador de rezagos \(x_t = (1-\theta L) \varepsilon_{t}\)
Ahora calculamos la esperanza de este proceso,
\[\begin{align*} E[x_t] & = E[\varepsilon_t - \theta \varepsilon_{t-1}] \\ E[x_t] & = E[\varepsilon_t] - \theta E[\varepsilon_{t-1}] \\ E[x_t] & = 0 \end{align*}\]
\end{frame}